Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
大多数NLP使用稀疏或密集文本表示的实体链接和核心分辨率的方法都集中在检索类似的提及上。例如，常见的“ Wikification”任务会为每个实体提及候选Wikipedia文章。对于许多域，例如书目引用，缺乏对每个实体的广泛文本描述的权威列表，并且命名为模棱两可的实体主要发生在其他命名实体的背景下。因此，与先前的工作不同，我们试图利用从文本证据中获得的个人网络可以从文本证据中获得的信息，以消除名称。我们将基于BERT的提及表示与各种图形归纳策略结合在一起，并通过监督和无监督的集群推理方法进行实验。我们试验了来自两个领域名称列表的数据：来自CrossRef的书目引用和传播链（ISNADS）来自古典阿拉伯历史。我们发现，预处理的内域语言模型可以显着改善提及的表示形式，尤其是对于较大的语料库，并且参考书目信息（例如出版物场所或标题）的可用性也可以提高此任务的性能。我们还提出了一种新颖的监督集群推理模型，该模型为少量计算工作提供了竞争性能，使其非常适合必须在不依赖详尽的权限列表的情况下确定个人的情况。
translated by 谷歌翻译
分类问题在自然语言处理中极为普遍，并使用各种重新采样和过滤技术解决，这通常涉及做出有关如何选择培训数据或确定该模型应标记哪些测试示例的决策。我们研究了训练样本和过滤器训练和测试数据中涉及的模型性能的权衡，并在严重失衡的令牌分类任务中进行了测试，并检查了这些权衡的幅度与感兴趣现象的基本率之间的关系。在对序列标签的实验以检测英语和阿拉伯文本中的稀有现象，我们发现选择培训数据的不同方法带来了有效性和效率的权衡。我们还看到，在高度不平衡的情况下，使用第一频繁检索模型过滤测试数据对于模型性能与选择训练数据一样重要。稀有正类别的基本率对训练或测试数据的选择引起的性能变化的大小有明显的影响。随着基本利率的增加，这些选择带来的差异会减少。
translated by 谷歌翻译
目的：本研究评估了市售可解释的AI算法在增强临床医生在胸部X射线（CXR）上鉴定肺癌的能力的影响。设计：这项回顾性研究评估了11位临床医生在胸部X光片中检测肺癌的表现，并在有和没有市售的AI算法的帮助下（红点，观察到），预测CXRS可疑的肺癌。根据临床确定的诊断评估了临床医生的表现。设置：该研究分析了NHS医院的匿名患者数据；该数据集由成年患者（18岁及以上）的400张胸部X光片组成，他们在2020年进行了CXR，并提供相应的临床文本报告。参与者：由11位临床医生（放射科医生，放射科医生受训者和报告射线照相师）组成的读者小组参加。主要结果指标：临床医生在CXR上检测肺癌的总体准确性，敏感性，特异性和精度，有或没有AI输入。还评估了有或没有AI输入的临床医生与绩效标准偏差之间的协议率。结果：临床医生对AI算法的使用导致肺部肿瘤检测的总体性能提高，从而达到了在CXR上鉴定出的肺癌的总体增长17.4％ ，分别增加了13％和13％的阶段1和2期肺癌的检测，以及临床医生表现的标准化。结论：这项研究在AI算法的临床实用性方面表现出了巨大的希望，可以通过整体改善读者表现来改善早期肺癌诊断和促进健康平等，而不会影响下游成像资源。
translated by 谷歌翻译
脑小血管疾病的成像标记提供了有关脑部健康的宝贵信息，但是它们的手动评估既耗时又受到实质性内部和间际变异性的阻碍。自动化评级可能受益于生物医学研究以及临床评估，但是现有算法的诊断可靠性尚不清楚。在这里，我们介绍了\ textIt {血管病变检测和分割}（\ textit {v textit {where valdo？}）挑战，该挑战是在国际医学图像计算和计算机辅助干预措施（MICCAI）的卫星事件中运行的挑战（MICCAI） 2021.这一挑战旨在促进大脑小血管疾病的小而稀疏成像标记的自动检测和分割方法的开发，即周围空间扩大（EPVS）（任务1），脑微粒（任务2）和预先塑造的鞋类血管起源（任务3），同时利用弱和嘈杂的标签。总体而言，有12个团队参与了针对一个或多个任务的解决方案的挑战（任务1 -EPVS 4，任务2 -Microbleeds的9个，任务3 -lacunes的6个）。多方数据都用于培训和评估。结果表明，整个团队和跨任务的性能都有很大的差异，对于任务1- EPV和任务2-微型微型且对任务3 -lacunes尚无实际的结果，其结果尤其有望。它还强调了可能阻止个人级别使用的情况的性能不一致，同时仍证明在人群层面上有用。
translated by 谷歌翻译
档案馆，文本学者和历史学家经常生产历史文件的数字版本。使用MARKUP方案（如文本编码计划和EPIDoC）的标记方案，这些数字版本通常会记录文档的语义区域（如票据和数字）和物理特征（例如页面和换行符）以及转录其文本内容。我们描述了利用这种语义标记的方法，作为培训和评估布局分析模型的远程监督。在实验中，在Deutsches TextArchiv（DTA）的半百万页上有几百万页的模型架构中，我们发现这些区域级评估方法具有像素级和单词级度量的高相关。我们讨论了提高自我培训准确性的可能性，以及在DTA上培训的模型培训的能力概括到其他历史印刷书籍。
translated by 谷歌翻译
对经济决策中情绪的作用，越来越感兴趣。然而，大多数关于该主题的研究都集中在积极和消极的效果上。定罪叙事理论（CNT）在真实世界决策中的核心逼近和避免情绪（驱动行动），并认为它更好地捕捉到金融市场中的情绪。这项研究介绍了心理学和机器学习，介绍了在基本含义的基本和负面情绪中区分方法和避免的新技术。它通过比较以前构造的单词列表来实现这一点，以捕获文本数据中的这些概念，横跨大量的语义功能。结果表明，特别是避免良好地定义为单独的情绪，这是评价/认知和自然的行动导向。根据这些功能炼制避免词列表改善了宏观经济模型，表明他们捕捉到避免的本质，并在驾驶真实的经济决策方面发挥着至关重要的作用。
translated by 谷歌翻译
通过数据饥饿的计算方法（如机器学习）的成功驱动，原始数据大小正在增长和增强。专有和鞋锤数据格式的优势使得计算较慢，使其更加难以重现研究和对新平台的端口方法。在这里，我们介绍了RAWARRAY格式：用于磁盘上的多维数字数组的存档存储的简单，快速，可扩展格式。RAWARRAY文件格式是标题阵列和数据数组的简单连接。标题包括七个或更多个64位无符号整数。阵列数据可以是任何东西。如果需要，可以将任意用户元数据附加到RAWARRAY文件，例如存储测量细节，颜色调色板或地理定位数据。我们呈现了一系列阵列大小的HDF5的2-3 $ \ Times $ Speedup的基准测试，以及读取共同的深度学习数据集Mnist和Cifar10的阵列大小和高达20美元的加速。
translated by 谷歌翻译
荆棘冠的海星（婴儿床）爆发是珊瑚损失的主要原因是巨大的障碍礁（GBR），并且正在进行大量监测和控制计划，以试图管理生态可持续水平的COTS群体。我们释放了GBR上的COTS爆发区域的大规模注释的水下图像数据集，以鼓励机器学习和AI驱动技术的研究，以改善珊瑚礁秤上的COTS群体的检测，监测和管理。该数据集发布并托管在一次竞争中，挑战国际机器学习界，并从这些水下图像中的COTS检测的任务挑战。
translated by 谷歌翻译
经常性的神经网络（RNNS）是用于处理时间序列数据的强大模型，但了解它们如何运作仍然具有挑战性。提高这种理解对机器学习和神经科学社区的大量兴趣。逆向工程框架训练的RNN通过在其固定点周围线性化提供了洞察力，但该方法具有重大挑战。这些包括在使用线性化动态重建非线性动态时，选择在研究RNN动态和误差累积时难以扩展的固定点。我们提出了一种通过使用新型切换线性动态系统（SLD）制剂的RNN共同训练RNN来克服这些限制的新模型。共同训练的RNN的一阶泰勒系列扩展和训练拾取RNN的固定点的辅助功能管理SLDS动态。结果是训练有素的SLDS变体，其与RNN相近，可以为状态空间中的每个点产生固定点的辅助函数，以及其动态已经规程的训练有素的非线性RNN，使得其一阶项执行计算， 如果可能的话。该模型删除了培训后的固定点优化，并允许我们明确地研究SLD在状态空间中的任何点的学习动态。它还概括了SLDS模型，以在交换机共享参数的同时将SLD模型转换为切换点的连续歧管。我们以与先前的工作逆向工程RNN相关的两个合成任务验证模型的实用程序。然后，我们表明我们的模型可以用作更复杂的架构中的替换，例如LFAD，并应用该LFADS杂种以分析非人类灵长类动物的电机系统的单试尖峰活动。
translated by 谷歌翻译